Experiment 3B - Argument Detector with New Dataset Split

This experiment differs from Experiment 3A as it uses a more balanced version of the datasets. Since these datasets are not intended for a quantification task, we aim to investigate whether merging all splits and then re-dividing them into new training and testing splits will improve the model's performance. This approach should ensure that the model encounters samples representing various diseases (e.g., neoplasm, glaucoma, etc.), potentially enhancing its generalizability.

from experiment_3b_code import *

C:\Users\Antonio\anaconda3\envs\NLP\Lib\site-packages\tqdm\auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
  from .autonotebook import tqdm as notebook_tqdm
[nltk_data] Downloading package punkt to
[nltk_data]     C:\Users\Antonio\AppData\Roaming\nltk_data...
[nltk_data]   Package punkt is already up-to-date!
[nltk_data] Downloading package punkt_tab to
[nltk_data]     C:\Users\Antonio\AppData\Roaming\nltk_data...
[nltk_data]   Package punkt_tab is already up-to-date!

1. Preprocessing

We will condensate in two cells the preprocessing made in the previous experiments.

# EXPERIMENT 1A

# Read datasets
train_set_claims = read_brat_dataset_components('../data/train/neoplasm_train', positives=['Claim', 'MajorClaim'])
val_set_claims = read_brat_dataset_components('../data/dev/neoplasm_dev', positives=['Claim', 'MajorClaim'])

glaucoma_test_claims = read_brat_dataset_components('../data/test/glaucoma_test', positives=['Claim', 'MajorClaim'])
neoplasm_test_claims = read_brat_dataset_components('../data/test/neoplasm_test', positives=['Claim', 'MajorClaim'])
mixed_test_claims = read_brat_dataset_components('../data/test/mixed_test', positives=['Claim', 'MajorClaim'])

test_set_claims = glaucoma_test_claims + neoplasm_test_claims + mixed_test_claims

_, avg_sentences_per_file_train_claims = compute_dataset_statistics_components(train_set_claims, dataset_name="train")

# Create train collection
train_collection_claims = FilenameLabelledCollection([data['sentence'] for data in train_set_claims], 
                                                 [data['label'] for data in train_set_claims], 
                                                 [data['filename'] for data in train_set_claims])

val_collection_claims = FilenameLabelledCollection([data['sentence'] for data in val_set_claims], 
                                                 [data['label'] for data in val_set_claims], 
                                                 [data['filename'] for data in val_set_claims])

test_collection_claims = FilenameLabelledCollection([data['sentence'] for data in test_set_claims], 
                                                 [data['label'] for data in test_set_claims], 
                                                 [data['filename'] for data in test_set_claims])

# Create and index the dataset
indexer_claims = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_claims = CustomDataset(training=train_collection_claims, test=test_collection_claims, val=val_collection_claims)
index(abs_dataset_claims, indexer_claims, inplace=True)

- Train set:
	Label 0: 3924 samples
	Label 1: 730 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average components per file: 2.09
	Average non-components per file: 11.21

indexing: 100%|████████████████████████████████████████████████| 4654/4654 [00:00<00:00, 99282.81it/s]
indexing: 100%|██████████████████████████████████████████████████| 708/708 [00:00<00:00, 44021.63it/s]
indexing: 100%|████████████████████████████████████████████████| 3838/3838 [00:00<00:00, 81803.27it/s]

<experiment_3b_code.CustomDataset at 0x1c7a1f315e0>

# EXPERIMENT 1B

# Read datasets
train_set_premises = read_brat_dataset_components('../data/train/neoplasm_train', positives=['Premise'])
val_set_premises = read_brat_dataset_components('../data/dev/neoplasm_dev', positives=['Premise'])

glaucoma_test_premises = read_brat_dataset_components('../data/test/glaucoma_test', positives=['Premise'])
neoplasm_test_premises = read_brat_dataset_components('../data/test/neoplasm_test', positives=['Premise'])
mixed_test_premises = read_brat_dataset_components('../data/test/mixed_test', positives=['Premise'])

test_set_premises = glaucoma_test_premises + neoplasm_test_premises + mixed_test_premises

_, avg_sentences_per_file_train_premises = compute_dataset_statistics_components(train_set_premises, dataset_name="train")

# Create train collection
train_collection_premises = FilenameLabelledCollection([data['sentence'] for data in train_set_premises], 
                                                 [data['label'] for data in train_set_premises], 
                                                 [data['filename'] for data in train_set_premises])

val_collection_premises = FilenameLabelledCollection([data['sentence'] for data in val_set_premises], 
                                                 [data['label'] for data in val_set_premises], 
                                                 [data['filename'] for data in val_set_premises])

test_collection_premises = FilenameLabelledCollection([data['sentence'] for data in test_set_premises], 
                                                 [data['label'] for data in test_set_premises], 
                                                 [data['filename'] for data in test_set_premises])

# Create and index the dataset
indexer_premises = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_premises = CustomDataset(training=train_collection_premises, test=test_collection_premises, val=val_collection_premises)
index(abs_dataset_premises, indexer_premises, inplace=True)

- Train set:
	Label 0: 3108 samples
	Label 1: 1537 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average components per file: 4.39
	Average non-components per file: 8.88

indexing: 100%|████████████████████████████████████████████████| 4645/4645 [00:00<00:00, 99016.78it/s]
indexing: 100%|██████████████████████████████████████████████████| 708/708 [00:00<00:00, 45312.00it/s]
indexing: 100%|████████████████████████████████████████████████| 3829/3829 [00:00<00:00, 80818.81it/s]

<experiment_3b_code.CustomDataset at 0x1c7a1e22720>

# EXPERIMENT 2

# Read datasets
train_set_relations = read_brat_dataset_relations('../data/train/neoplasm_train') 
val_set_relations = read_brat_dataset_relations('../data/dev/neoplasm_dev')

glaucoma_test_relations = read_brat_dataset_relations('../data/test/glaucoma_test')
neoplasm_test_relations = read_brat_dataset_relations('../data/test/neoplasm_test')
mixed_test_relations = read_brat_dataset_relations('../data/test/mixed_test')

test_set_relations = glaucoma_test_relations + neoplasm_test_relations + mixed_test_relations

_, avg_sentences_per_file_train_relations = compute_dataset_statistics_relations(train_set_relations, dataset_name="train")

# Create train collection
train_collection_relations = FilenameLabelledCollection([data['sentence'] for data in train_set_relations], 
                                                 [data['label'] for data in train_set_relations], 
                                                 [data['filename'] for data in train_set_relations])


val_collection_relations = FilenameLabelledCollection([data['sentence'] for data in val_set_relations], 
                                                 [data['label'] for data in val_set_relations], 
                                                 [data['filename'] for data in val_set_relations])

test_collection_relations = FilenameLabelledCollection([data['sentence'] for data in test_set_relations], 
                                                 [data['label'] for data in test_set_relations], 
                                                 [data['filename'] for data in test_set_relations])

# Create and index the dataset
indexer_relations = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_relations = CustomDataset(training=train_collection_relations, test=test_collection_relations, val=val_collection_relations)
index(abs_dataset_relations, indexer_relations, inplace=True)

- Train set:
	Label 0: 3251 samples
	Label 1: 1394 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average relationships per file: 4.06
	Average no relationships per file: 9.29

indexing: 100%|███████████████████████████████████████████████| 4645/4645 [00:00<00:00, 101333.82it/s]
indexing: 100%|██████████████████████████████████████████████████| 708/708 [00:00<00:00, 45306.47it/s]
indexing: 100%|████████████████████████████████████████████████| 3828/3828 [00:00<00:00, 80871.77it/s]

<experiment_3b_code.CustomDataset at 0x1c7a20abc80>

Now it's time to create the dictionaries according to which our new head will be training: we will have one dictionary for each set we intend to use.

train_filename_to_labels = filename_to_arguments_number('../data/train/neoplasm_train') 
val_filename_to_labels = filename_to_arguments_number('../data/dev/neoplasm_dev') 

glaucoma_test_filename_to_labels = filename_to_arguments_number('../data/test/glaucoma_test')
neoplasm_test_filename_to_labels = filename_to_arguments_number('../data/test/neoplasm_test')
mixed_test_filename_to_labels = filename_to_arguments_number('../data/test/mixed_test')

test_filename_to_labels = glaucoma_test_filename_to_labels | \
                          neoplasm_test_filename_to_labels | \
                          mixed_test_filename_to_labels

filename_to_labels = train_filename_to_labels | val_filename_to_labels | test_filename_to_labels

Labels in ../data/train/neoplasm_train:
--------------------------------------------------
N.Args    0         1         2         3         
Count     11        274       58        7         

Labels in ../data/dev/neoplasm_dev:
--------------------------------------------------
N.Args    1         2         3         
Count     38        11        1         

Labels in ../data/test/glaucoma_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     4         61        33        2         

Labels in ../data/test/neoplasm_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         73        20        6         

Labels in ../data/test/mixed_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     3         74        18        5         

keys = [
    set(train_filename_to_labels.keys()), 
    set(val_filename_to_labels.keys()), 
    set(glaucoma_test_filename_to_labels.keys()), 
    set(neoplasm_test_filename_to_labels.keys()),
    set(mixed_test_filename_to_labels.keys())
]

intersections = 0
for i in range(len(keys)):
    for j in range(i + 1, len(keys)):
        intersections += len(keys[i] & keys[j])  # Set intersection
        
print(f"Total intersections: {intersections}")

Total intersections: 31

We will now create the new splits; as the previous cell shows, there will be less samples since the mixed test contains 31 samples from the others sets.

# Train/test 0.8/0.2
train_filenames, test_filenames = train_test_split(
    list(filename_to_labels.keys()), train_size=0.8, random_state=42
)

train_filename_to_labels = {filename: filename_to_labels[filename] for filename in train_filenames}
test_filename_to_labels = {filename: filename_to_labels[filename] for filename in test_filenames}

# Train/val 0.8/0.2
train_filenames, val_filenames = train_test_split(
    list(train_filename_to_labels.keys()), train_size=0.8, random_state=42
)

train_filename_to_labels = {filename: filename_to_labels[filename] for filename in train_filenames}
val_filename_to_labels = {filename: filename_to_labels[filename] for filename in val_filenames}

count_labels(train_filename_to_labels, 'final train set')
count_labels(val_filename_to_labels, 'final validation set')
count_labels(test_filename_to_labels, 'final test set')

Labels in final train set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     13        322       81        12        

Labels in final validation set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         80        22        4         

Labels in final test set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     5         100       26        3         

Models

Classifiers checkpoints

Let us load the two CNN's employed by respectively the components and relations QuaNets; we do this with the same set of parameters used for training.

# Claims
set_seed(42)

claims_embedding_size = 180
claims_hidden_size = 269   
claims_lr = 0.0009964893016712443

claims_cnn_module = CNNnet(
    abs_dataset_claims.vocabulary_size,
    abs_dataset_claims.training.n_classes,
    embedding_size=claims_embedding_size,
    hidden_size=claims_hidden_size
)

claims_optimizer = Adam(claims_cnn_module.parameters(), lr=claims_lr)
claims_scheduler = CosineAnnealingLR(claims_optimizer, T_max=2)

claims_cnn_classifier = ScheduledNeuralClassifierTrainer(
    claims_cnn_module,
    lr_scheduler=claims_scheduler,
    optim = claims_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments_cp/claims/classifier_net.dat',
    padding_length=107,
    patience=10
)

claims_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/claims/classifier_net.dat', weights_only=True))
claims_cnn_classifier.classes_ = abs_dataset_claims.training.classes_

[NeuralNetwork running on cpu]

# Premises
set_seed(42)

premises_embedding_size = 180
premises_hidden_size = 269   
premises_lr = 0.0009964893016712443

premises_cnn_module = CNNnet(
    abs_dataset_premises.vocabulary_size,
    abs_dataset_premises.training.n_classes,
    embedding_size=premises_embedding_size,
    hidden_size=premises_hidden_size
)

premises_optimizer = Adam(premises_cnn_module.parameters(), lr=premises_lr)
premises_scheduler = CosineAnnealingLR(premises_optimizer, T_max=2)

premises_cnn_classifier = ScheduledNeuralClassifierTrainer(
    premises_cnn_module,
    lr_scheduler=premises_scheduler,
    optim = premises_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments_cp/premises/classifier_net.dat',
    padding_length=107,
    patience=10
)

premises_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/premises/classifier_net.dat', weights_only=True))
premises_cnn_classifier.classes_ = abs_dataset_premises.training.classes_

[NeuralNetwork running on cpu]

# Relations
set_seed(42)

relations_embedding_size = 195
relations_hidden_size = 278   
relations_lr = 0.0005161449102180434

relations_cnn_module = CNNnet(
    abs_dataset_relations.vocabulary_size,
    abs_dataset_relations.training.n_classes,
    embedding_size=relations_embedding_size,
    hidden_size=relations_hidden_size
)

relations_optimizer = Adam(relations_cnn_module.parameters(), lr=relations_lr)
relations_scheduler = CosineAnnealingLR(relations_optimizer, T_max=11)

relations_cnn_classifier = ScheduledNeuralClassifierTrainer(
    relations_cnn_module,
    lr_scheduler=relations_scheduler,
    optim = relations_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments_cp/relations/classifier_net.dat',
    padding_length=107,
    patience=10
)

relations_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/relations/classifier_net.dat', weights_only=True))
relations_cnn_classifier.classes_ = abs_dataset_relations.training.classes_

[NeuralNetwork running on cpu]

Train

First of all, we compute the weights to counteract the imbalance of the dataset.

Weights are computed in two manners, the formers are used for weighting CrossEntropy, the latters to perform Weighted Random Sampling; these two techniques are not performed together, meaning that we don't weight the loss criterion if we already counteract the imbalance using the random sampling technique.

import sklearn

y = np.array([train_filename_to_labels[filename]['n'] for filename in train_filename_to_labels.keys()])

class_weights=sklearn.utils.class_weight.compute_class_weight('balanced',classes=np.unique(y),y=y)
class_weights=torch.tensor(class_weights,dtype=torch.float)
print('Computed weights:')
for label, weight in zip(sorted(np.unique(y)), class_weights):
    print(f'\t{label}: {weight}')

class_weights_2 = torch.tensor(1 / np.bincount(y), dtype=torch.float32)
print('Computed weights 2:')
for label, weight in zip(sorted(np.unique(y)), class_weights_2):
    print(f'\t{label}: {weight}')

Computed weights:
	0: 8.230769157409668
	1: 0.3322981297969818
	2: 1.3209877014160156
	3: 8.916666984558105
Computed weights 2:
	0: 0.07692307978868484
	1: 0.003105590119957924
	2: 0.012345679104328156
	3: 0.0833333358168602

The next cell performs training and is executed multiple times based on the results obtained from the Optuna studies that follow. The set of hyperparameters that produced the best results is provided as comments; feel free to reproduce the experiments.

import torch.optim as optim
from torch.optim.lr_scheduler import CosineAnnealingLR, CosineAnnealingWarmRestarts

'''
- 1st OPTUNA STUDY:
    Best trial is 22:
      Value: 0.6291383407947825
      Params: 
        n_ff_layers: 3
        ap_ff_layers0: 128
        c_frozen_layers_percentage: 0
        p_frozen_layers_percentage: 25
        r_frozen_layers_percentage: 100
        optimizer: AdamW
        weight_decay: 5.3774309676496554e-05
        beta1: 0.8405057453235438
        beta2: 0.9073897920595596
        lr: 0.0006533470074643697
        scheduler: None
        batch_size: 4
        WRS: False
        apdrop_p: 0.24018317859973445
'''

batch_size = 4
lr = 0.0006533470074643697
cfp = 0
pfp = 25
rfp = 100

apdrop_p = 0.24018317859973445
ap_ff_layers = [128, 64, 32]

optimizer_class = torch.optim.AdamW
optimizer_params = {
    "betas": (0.8405057453235438, 0.9073897920595596),
    "weight_decay": 5.3774309676496554e-05,
}

# Define optimizer
arguments_predictor = ArgumentsPredictorTrainerCP(claims_cnn_classifier,
                                                premises_cnn_classifier, 
                                                relations_cnn_classifier, 
                                                c_frozen_layers_percentage = cfp, 
                                                p_frozen_layers_percentage = pfp, 
                                                r_frozen_layers_percentage = rfp,
                                                patience=10,
                                                qdrop_p=0, 
                                                apdrop_p=apdrop_p,
                                                batch_size=batch_size,
                                                ap_ff_layers = ap_ff_layers,
                                                qc_lr=lr, 
                                                qp_lr=lr, 
                                                qr_lr=lr, 
                                                ap_lr=lr, #Best with LSTM plain architecture
                                                criterion=torch.nn.CrossEntropyLoss(weight=class_weights,reduction='mean'),
                                                # criterion=torch.nn.CrossEntropyLoss(),
                                                # class_weights=class_weights_2,
                                                optimizer_class=optimizer_class,
                                                optimizer_params = optimizer_params
                                               )

status, best_results, history = arguments_predictor.fit(
    abs_dataset_claims.training, 
    abs_dataset_claims.val,
    abs_dataset_claims.test,
    abs_dataset_premises.training, 
    abs_dataset_premises.val, 
    abs_dataset_premises.test, 
    abs_dataset_relations.training, 
    abs_dataset_relations.val, 
    abs_dataset_relations.test, 
    train_filename_to_labels,
    val_filename_to_labels,
    monitor = {'metric': 'va-f1', 'lower_is_better': False}
)

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]

[Arguments Predictor] - Epoch: 1   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.29532     | Val Loss:         1.07575   
	@ Train Acc:          40.42     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.208       | Val Macro F1:     0.214     
	@ Train Weighted F1:  0.467       | Val Weighted F1:  0.643     

	@ Patience: 10/10 - Current best va-f1: 0.21429 (epoch: 1)

	@ Confusion matrix train:
	        0       1       2       3   
	0       4       4       5       0   
	1      50      149     123      0   
	2      23      38      20       0   
	3       1       6       5       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       0       1       0       0   
	1       0      78       0       0   
	2       0      21       0       0   
	3       0       4       0       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]

[Arguments Predictor] - Epoch: 2   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.19676     | Val Loss:         1.08668   
	@ Train Acc:          74.53     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.225       | Val Macro F1:     0.214     
	@ Train Weighted F1:  0.651       | Val Weighted F1:  0.643     

	@ Patience: 9 /10 - Current best va-f1: 0.21429 (epoch: 1)

	@ Confusion matrix train:
	        0       1       2       3   
	0       0      13       0       0   
	1       0      317      5       0   
	2       0      79       2       0   
	3       0      12       0       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       0       1       0       0   
	1       0      78       0       0   
	2       0      21       0       0   
	3       0       4       0       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]

[Arguments Predictor] - Epoch: 3   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.18586     | Val Loss:         1.06138   
	@ Train Acc:          75.23     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.232       | Val Macro F1:     0.215     
	@ Train Weighted F1:  0.659       | Val Weighted F1:  0.646     

	@ Patience: 10/10 - Current best va-f1: 0.21547 (epoch: 3)

	@ Confusion matrix train:
	        0       1       2       3   
	0       0      12       1       0   
	1       0      319      3       0   
	2       0      78       3       0   
	3       0      12       0       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       0       0       1       0   
	1       0      78       0       0   
	2       0      21       0       0   
	3       0       4       0       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]

[Arguments Predictor] - Epoch: 4   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.16219     | Val Loss:         1.02035   
	@ Train Acc:          75.23     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.237       | Val Macro F1:     0.215     
	@ Train Weighted F1:  0.662       | Val Weighted F1:  0.646     

	@ Patience: 9 /10 - Current best va-f1: 0.21547 (epoch: 3)

	@ Confusion matrix train:
	        0       1       2       3   
	0       0      13       0       0   
	1       0      318      4       0   
	2       0      77       4       0   
	3       0      12       0       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       0       0       1       0   
	1       0      78       0       0   
	2       0      21       0       0   
	3       0       4       0       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]

[Arguments Predictor] - Epoch: 5   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.12576     | Val Loss:         1.00147   
	@ Train Acc:          74.30     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.213       | Val Macro F1:     0.215     
	@ Train Weighted F1:  0.641       | Val Weighted F1:  0.646     

	@ Patience: 8 /10 - Current best va-f1: 0.21547 (epoch: 3)

	@ Confusion matrix train:
	        0       1       2       3   
	0       0      13       0       0   
	1       0      318      4       0   
	2       0      81       0       0   
	3       0      12       0       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       0       0       1       0   
	1       0      78       0       0   
	2       0      21       0       0   
	3       0       4       0       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.68it/s]

[Arguments Predictor] - Epoch: 6   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.11712     | Val Loss:         1.00530   
	@ Train Acc:          74.07     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.219       | Val Macro F1:     0.215     
	@ Train Weighted F1:  0.647       | Val Weighted F1:  0.646     

	@ Patience: 7 /10 - Current best va-f1: 0.21547 (epoch: 3)

	@ Confusion matrix train:
	        0       1       2       3   
	0       0      11       2       0   
	1       0      316      6       0   
	2       0      80       1       0   
	3       0      11       1       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       0       0       1       0   
	1       0      78       0       0   
	2       0      21       0       0   
	3       0       4       0       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]

[Arguments Predictor] - Epoch: 7   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.08234     | Val Loss:         0.95039   
	@ Train Acc:          74.77     % | Val Acc:          75.96     %
	@ Train Macro F1:     0.274       | Val Macro F1:     0.256     
	@ Train Weighted F1:  0.692       | Val Weighted F1:  0.686     

	@ Patience: 10/10 - Current best va-f1: 0.25579 (epoch: 7)

	@ Confusion matrix train:
	        0       1       2       3   
	0       0       7       6       0   
	1       0      306     16       0   
	2       0      67      14       0   
	3       0       9       3       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       0       0       1       0   
	1       0      77       1       0   
	2       0      19       2       0   
	3       0       2       2       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]

[Arguments Predictor] - Epoch: 8   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.01421     | Val Loss:         0.96070   
	@ Train Acc:          74.07     % | Val Acc:          76.92     %
	@ Train Macro F1:     0.350       | Val Macro F1:     0.507     
	@ Train Weighted F1:  0.703       | Val Weighted F1:  0.697     

	@ Patience: 10/10 - Current best va-f1: 0.50721 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0       2       7       4       0   
	1       0      296     26       0   
	2       0      62      19       0   
	3       0       7       5       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      77       1       0   
	2       0      19       2       0   
	3       0       2       2       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]

[Arguments Predictor] - Epoch: 9   | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.05305     | Val Loss:         0.96278   
	@ Train Acc:          75.00     % | Val Acc:          76.92     %
	@ Train Macro F1:     0.390       | Val Macro F1:     0.507     
	@ Train Weighted F1:  0.719       | Val Weighted F1:  0.697     

	@ Patience: 9 /10 - Current best va-f1: 0.50721 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0       3       6       4       0   
	1       0      295     27       0   
	2       0      58      23       0   
	3       0       7       5       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      77       1       0   
	2       0      19       2       0   
	3       0       2       2       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]

[Arguments Predictor] - Epoch: 10  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         1.00471     | Val Loss:         0.98022   
	@ Train Acc:          73.83     % | Val Acc:          75.96     %
	@ Train Macro F1:     0.397       | Val Macro F1:     0.487     
	@ Train Weighted F1:  0.720       | Val Weighted F1:  0.675     

	@ Patience: 8 /10 - Current best va-f1: 0.50721 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0       3       4       6       0   
	1       0      284     38       0   
	2       0      52      29       0   
	3       0       5       7       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      77       1       0   
	2       0      20       1       0   
	3       0       3       1       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.35it/s]

[Arguments Predictor] - Epoch: 11  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.97310     | Val Loss:         0.94119   
	@ Train Acc:          76.64     % | Val Acc:          66.35     %
	@ Train Macro F1:     0.401       | Val Macro F1:     0.439     
	@ Train Weighted F1:  0.735       | Val Weighted F1:  0.661     

	@ Patience: 7 /10 - Current best va-f1: 0.50721 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0       3       5       5       0   
	1       0      300     22       0   
	2       0      56      25       0   
	3       0       5       7       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      61      16       0   
	2       0      14       7       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]

[Arguments Predictor] - Epoch: 12  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.98448     | Val Loss:         0.93974   
	@ Train Acc:          76.40     % | Val Acc:          57.69     %
	@ Train Macro F1:     0.418       | Val Macro F1:     0.419     
	@ Train Weighted F1:  0.750       | Val Weighted F1:  0.602     

	@ Patience: 6 /10 - Current best va-f1: 0.50721 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0       3       3       7       0   
	1       0      286     36       0   
	2       0      43      38       0   
	3       1       4       7       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      50      27       0   
	2       0      12       9       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]

[Arguments Predictor] - Epoch: 13  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.93307     | Val Loss:         0.95453   
	@ Train Acc:          74.30     % | Val Acc:          59.62     %
	@ Train Macro F1:     0.451       | Val Macro F1:     0.446     
	@ Train Weighted F1:  0.735       | Val Weighted F1:  0.622     

	@ Patience: 5 /10 - Current best va-f1: 0.50721 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0       5       4       4       0   
	1       0      275     47       0   
	2       0      43      38       0   
	3       1       5       6       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      47      30       0   
	2       0       7      14       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]

[Arguments Predictor] - Epoch: 14  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.84815     | Val Loss:         0.92022   
	@ Train Acc:          73.13     % | Val Acc:          58.65     %
	@ Train Macro F1:     0.512       | Val Macro F1:     0.517     
	@ Train Weighted F1:  0.736       | Val Weighted F1:  0.615     

	@ Patience: 10/10 - Current best va-f1: 0.51733 (epoch: 14)

	@ Confusion matrix train:
	        0       1       2       3   
	0       9       0       4       0   
	1       0      262     60       0   
	2       0      39      42       0   
	3       1       1      10       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      48      30       0   
	2       0       9      12       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]

[Arguments Predictor] - Epoch: 15  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.79654     | Val Loss:         1.03751   
	@ Train Acc:          71.26     % | Val Acc:          67.31     %
	@ Train Macro F1:     0.457       | Val Macro F1:     0.449     
	@ Train Weighted F1:  0.719       | Val Weighted F1:  0.672     

	@ Patience: 9 /10 - Current best va-f1: 0.51733 (epoch: 14)

	@ Confusion matrix train:
	        0       1       2       3   
	0       8       3       2       0   
	1       2      254     66       0   
	2       1      37      43       0   
	3       4       0       8       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      61      16       0   
	2       0      13       8       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]

[Arguments Predictor] - Epoch: 16  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.74362     | Val Loss:         1.22390   
	@ Train Acc:          75.47     % | Val Acc:          69.23     %
	@ Train Macro F1:     0.538       | Val Macro F1:     0.538     
	@ Train Weighted F1:  0.760       | Val Weighted F1:  0.691     

	@ Patience: 10/10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      10       0       3       0   
	1       0      262     60       0   
	2       0      30      51       0   
	3       2       1       9       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      63      15       0   
	2       0      13       8       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]

[Arguments Predictor] - Epoch: 17  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.73541     | Val Loss:         1.03249   
	@ Train Acc:          73.83     % | Val Acc:          61.54     %
	@ Train Macro F1:     0.557       | Val Macro F1:     0.447     
	@ Train Weighted F1:  0.749       | Val Weighted F1:  0.638     

	@ Patience: 9 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       0      248     74       0   
	2       0      25      56       0   
	3       2       0      10       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      51      26       0   
	2       0       9      12       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.19it/s]

[Arguments Predictor] - Epoch: 18  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.68876     | Val Loss:         1.12001   
	@ Train Acc:          74.53     % | Val Acc:          61.54     %
	@ Train Macro F1:     0.521       | Val Macro F1:     0.443     
	@ Train Weighted F1:  0.753       | Val Weighted F1:  0.636     

	@ Patience: 8 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      10       1       2       0   
	1       0      257     65       0   
	2       1      28      52       0   
	3       3       0       9       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      52      25       0   
	2       0      10      11       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]

[Arguments Predictor] - Epoch: 19  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.62319     | Val Loss:         1.21316   
	@ Train Acc:          76.17     % | Val Acc:          64.42     %
	@ Train Macro F1:     0.570       | Val Macro F1:     0.409     
	@ Train Weighted F1:  0.770       | Val Weighted F1:  0.655     

	@ Patience: 7 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       0       1       0   
	1       0      255     67       0   
	2       0      22      59       0   
	3       2       0      10       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      56      20       0   
	2       0      11      10       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]

[Arguments Predictor] - Epoch: 20  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.61257     | Val Loss:         1.20590   
	@ Train Acc:          76.40     % | Val Acc:          50.96     %
	@ Train Macro F1:     0.548       | Val Macro F1:     0.379     
	@ Train Weighted F1:  0.770       | Val Weighted F1:  0.534     

	@ Patience: 6 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       0      254     68       0   
	2       0      20      61       0   
	3       6       1       5       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      34      42       0   
	2       0       3      18       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]

[Arguments Predictor] - Epoch: 21  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.59834     | Val Loss:         1.45984   
	@ Train Acc:          76.17     % | Val Acc:          63.46     %
	@ Train Macro F1:     0.557       | Val Macro F1:     0.445     
	@ Train Weighted F1:  0.771       | Val Weighted F1:  0.650     

	@ Patience: 5 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       2      249     71       0   
	2       2      15      64       0   
	3       2       0      10       0   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      55      22       0   
	2       0      11      10       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]

[Arguments Predictor] - Epoch: 22  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.59967     | Val Loss:         1.68896   
	@ Train Acc:          75.00     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.640       | Val Macro F1:     0.448     
	@ Train Weighted F1:  0.767       | Val Weighted F1:  0.663     

	@ Patience: 4 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      11       1       0       1   
	1       1      244     73       4   
	2       0      19      62       0   
	3       3       0       5       4   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      58      19       0   
	2       0      12       9       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]

[Arguments Predictor] - Epoch: 23  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.52875     | Val Loss:         1.47659   
	@ Train Acc:          77.34     % | Val Acc:          63.46     %
	@ Train Macro F1:     0.702       | Val Macro F1:     0.458     
	@ Train Weighted F1:  0.791       | Val Weighted F1:  0.655     

	@ Patience: 3 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       1      250     70       1   
	2       0      14      63       4   
	3       1       0       6       5   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      52      25       0   
	2       0       8      13       0   
	3       0       0       4       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]

[Arguments Predictor] - Epoch: 24  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.45806     | Val Loss:         2.15176   
	@ Train Acc:          77.80     % | Val Acc:          67.31     %
	@ Train Macro F1:     0.738       | Val Macro F1:     0.524     
	@ Train Weighted F1:  0.797       | Val Weighted F1:  0.670     

	@ Patience: 2 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       0      247     73       2   
	2       0      11      67       3   
	3       1       0       4       7   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      62      16       0   
	2       0      14       7       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.27it/s]

[Arguments Predictor] - Epoch: 25  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.45173     | Val Loss:         2.00487   
	@ Train Acc:          78.74     % | Val Acc:          60.58     %
	@ Train Macro F1:     0.696       | Val Macro F1:     0.522     
	@ Train Weighted F1:  0.801       | Val Weighted F1:  0.634     

	@ Patience: 1 /10 - Current best va-f1: 0.53788 (epoch: 16)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       0      254     66       2   
	2       0      14      66       1   
	3       3       0       5       4   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      47      28       2   
	2       0       7      14       0   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]

[Arguments Predictor] - Epoch: 26  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.50104     | Val Loss:         2.27615   
	@ Train Acc:          79.44     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.759       | Val Macro F1:     0.540     
	@ Train Weighted F1:  0.810       | Val Weighted F1:  0.667     

	@ Patience: 10/10 - Current best va-f1: 0.53959 (epoch: 26)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       2      252     67       1   
	2       0      11      69       1   
	3       0       0       5       7   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      56      22       0   
	2       0      10      11       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]

[Arguments Predictor] - Epoch: 27  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.42308     | Val Loss:         3.43300   
	@ Train Acc:          80.84     % | Val Acc:          72.12     %
	@ Train Macro F1:     0.740       | Val Macro F1:     0.493     
	@ Train Weighted F1:  0.823       | Val Weighted F1:  0.667     

	@ Patience: 9 /10 - Current best va-f1: 0.53959 (epoch: 26)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       1      256     63       2   
	2       0       7      72       2   
	3       1       0       5       6   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      72       6       0   
	2       0      19       2       0   
	3       0       2       2       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]

[Arguments Predictor] - Epoch: 28  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.45839     | Val Loss:         2.62492   
	@ Train Acc:          83.41     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.752       | Val Macro F1:     0.530     
	@ Train Weighted F1:  0.842       | Val Weighted F1:  0.662     

	@ Patience: 8 /10 - Current best va-f1: 0.53959 (epoch: 26)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       0      276     45       1   
	2       0      16      63       2   
	3       1       0       6       5   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      58      20       0   
	2       0      12       9       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]

[Arguments Predictor] - Epoch: 29  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.41282     | Val Loss:         2.24424   
	@ Train Acc:          82.48     % | Val Acc:          62.50     %
	@ Train Macro F1:     0.774       | Val Macro F1:     0.485     
	@ Train Weighted F1:  0.837       | Val Weighted F1:  0.647     

	@ Patience: 7 /10 - Current best va-f1: 0.53959 (epoch: 26)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       0      266     55       1   
	2       1      11      68       1   
	3       1       0       4       7   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      53      22       1   
	2       0      11      10       0   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]

[Arguments Predictor] - Epoch: 30  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.35776     | Val Loss:         3.90804   
	@ Train Acc:          84.35     % | Val Acc:          74.04     %
	@ Train Macro F1:     0.814       | Val Macro F1:     0.542     
	@ Train Weighted F1:  0.853       | Val Weighted F1:  0.714     

	@ Patience: 10/10 - Current best va-f1: 0.54236 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       1      270     48       3   
	2       0      10      68       3   
	3       0       0       2      10   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      70       8       0   
	2       0      15       6       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]

[Arguments Predictor] - Epoch: 31  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.36078     | Val Loss:         3.52367   
	@ Train Acc:          83.88     % | Val Acc:          69.23     %
	@ Train Macro F1:     0.826       | Val Macro F1:     0.429     
	@ Train Weighted F1:  0.849       | Val Weighted F1:  0.693     

	@ Patience: 9 /10 - Current best va-f1: 0.54236 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       0       0       1   
	1       0      267     51       4   
	2       0      11      68       2   
	3       0       0       0      12   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      61      15       0   
	2       0      11      10       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]

[Arguments Predictor] - Epoch: 32  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.34437     | Val Loss:         2.63741   
	@ Train Acc:          85.05     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.813       | Val Macro F1:     0.419     
	@ Train Weighted F1:  0.862       | Val Weighted F1:  0.669     

	@ Patience: 8 /10 - Current best va-f1: 0.54236 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       0      268     51       3   
	2       0       4      75       2   
	3       0       0       4       8   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      56      20       0   
	2       0       9      11       1   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]

[Arguments Predictor] - Epoch: 33  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.37730     | Val Loss:         3.66034   
	@ Train Acc:          86.68     % | Val Acc:          63.46     %
	@ Train Macro F1:     0.849       | Val Macro F1:     0.540     
	@ Train Weighted F1:  0.875       | Val Weighted F1:  0.654     

	@ Patience: 7 /10 - Current best va-f1: 0.54236 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       0       0       1   
	1       0      277     44       1   
	2       0       8      72       1   
	3       0       0       2      10   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      52      26       0   
	2       0       8      13       0   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]

[Arguments Predictor] - Epoch: 34  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.31795     | Val Loss:         4.06550   
	@ Train Acc:          86.45     % | Val Acc:          66.35     %
	@ Train Macro F1:     0.814       | Val Macro F1:     0.491     
	@ Train Weighted F1:  0.873       | Val Weighted F1:  0.649     

	@ Patience: 6 /10 - Current best va-f1: 0.54236 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      11       0       0       2   
	1       1      277     44       0   
	2       0       7      72       2   
	3       1       0       1      10   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      65      13       0   
	2       0      16       3       2   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]

[Arguments Predictor] - Epoch: 35  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.28538     | Val Loss:         3.14039   
	@ Train Acc:          88.79     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.880       | Val Macro F1:     0.458     
	@ Train Weighted F1:  0.893       | Val Weighted F1:  0.672     

	@ Patience: 5 /10 - Current best va-f1: 0.54236 (epoch: 30)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       0      286     35       1   
	2       0       9      70       2   
	3       0       0       1      11   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      57      19       1   
	2       0       9      10       2   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]

[Arguments Predictor] - Epoch: 36  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.27559     | Val Loss:         3.87074   
	@ Train Acc:          91.59     % | Val Acc:          75.00     %
	@ Train Macro F1:     0.902       | Val Macro F1:     0.629     
	@ Train Weighted F1:  0.919       | Val Weighted F1:  0.732     

	@ Patience: 10/10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       0      293     26       3   
	2       0       6      75       0   
	3       0       0       1      11   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      70       8       0   
	2       0      14       6       1   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]

[Arguments Predictor] - Epoch: 37  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.22945     | Val Loss:         4.07225   
	@ Train Acc:          88.55     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.879       | Val Macro F1:     0.437     
	@ Train Weighted F1:  0.891       | Val Weighted F1:  0.677     

	@ Patience: 9 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      11       1       0       1   
	1       0      285     36       1   
	2       0      10      71       0   
	3       0       0       0      12   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       3      57      13       5   
	2       0      10       9       2   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]

[Arguments Predictor] - Epoch: 38  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.33754     | Val Loss:         4.58348   
	@ Train Acc:          89.95     % | Val Acc:          64.42     %
	@ Train Macro F1:     0.847       | Val Macro F1:     0.395     
	@ Train Weighted F1:  0.905       | Val Weighted F1:  0.651     

	@ Patience: 8 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       0       0       1   
	1       0      292     28       2   
	2       0       6      70       5   
	3       0       0       1      11   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      59      16       1   
	2       0      13       7       1   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]

[Arguments Predictor] - Epoch: 39  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.29167     | Val Loss:         4.59450   
	@ Train Acc:          89.72     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.871       | Val Macro F1:     0.525     
	@ Train Weighted F1:  0.901       | Val Weighted F1:  0.668     

	@ Patience: 7 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       0       0       1   
	1       0      291     28       3   
	2       0      11      70       0   
	3       0       0       1      11   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      58      19       0   
	2       0      12       8       1   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]

[Arguments Predictor] - Epoch: 40  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.22012     | Val Loss:         6.42628   
	@ Train Acc:          91.12     % | Val Acc:          72.12     %
	@ Train Macro F1:     0.882       | Val Macro F1:     0.397     
	@ Train Weighted F1:  0.915       | Val Weighted F1:  0.657     

	@ Patience: 6 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       0      295     26       1   
	2       0       7      74       0   
	3       0       0       3       9   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      73       4       0   
	2       0      19       1       1   
	3       0       2       2       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]

[Arguments Predictor] - Epoch: 41  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.25438     | Val Loss:         3.80713   
	@ Train Acc:          90.42     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.860       | Val Macro F1:     0.496     
	@ Train Weighted F1:  0.908       | Val Weighted F1:  0.673     

	@ Patience: 5 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       0       0       1   
	1       0      292     29       1   
	2       0       7      74       0   
	3       1       0       2       9   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2      56      20       0   
	2       0      10      10       1   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.15it/s]

[Arguments Predictor] - Epoch: 42  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.19536     | Val Loss:         4.30929   
	@ Train Acc:          92.99     % | Val Acc:          58.65     %
	@ Train Macro F1:     0.894       | Val Macro F1:     0.428     
	@ Train Weighted F1:  0.932       | Val Weighted F1:  0.621     

	@ Patience: 4 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       1      301     20       0   
	2       0       5      75       1   
	3       0       0       3       9   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       3      46      24       5   
	2       0       7      13       1   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]

[Arguments Predictor] - Epoch: 43  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.15954     | Val Loss:         6.33651   
	@ Train Acc:          93.69     % | Val Acc:          64.42     %
	@ Train Macro F1:     0.931       | Val Macro F1:     0.515     
	@ Train Weighted F1:  0.939       | Val Weighted F1:  0.657     

	@ Patience: 3 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      13       0       0       0   
	1       0      301     21       0   
	2       0       4      76       1   
	3       0       0       1      11   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       1      58      19       0   
	2       0      13       7       1   
	3       0       1       2       1   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.58it/s]

[Arguments Predictor] - Epoch: 44  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.17901     | Val Loss:         5.82561   
	@ Train Acc:          92.99     % | Val Acc:          61.54     %
	@ Train Macro F1:     0.918       | Val Macro F1:     0.505     
	@ Train Weighted F1:  0.932       | Val Weighted F1:  0.631     

	@ Patience: 2 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       0       0       1   
	1       0      300     22       0   
	2       0       6      75       0   
	3       0       0       1      11   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      56      22       0   
	2       0      13       7       1   
	3       0       1       3       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]

[Arguments Predictor] - Epoch: 45  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.20266     | Val Loss:         8.61813   
	@ Train Acc:          95.09     % | Val Acc:          71.15     %
	@ Train Macro F1:     0.926       | Val Macro F1:     0.476     
	@ Train Weighted F1:  0.952       | Val Weighted F1:  0.651     

	@ Patience: 1 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       0      305     16       1   
	2       0       2      79       0   
	3       1       0       0      11   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      72       6       0   
	2       0      20       1       0   
	3       0       2       2       0   

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]

[Arguments Predictor] - Epoch: 46  | QC LR: 6.53E-04   | QR LR: 6.53E-04   | AP LR: 6.53E-04  
	@ Train Loss:         0.22530     | Val Loss:         6.61121   
	@ Train Acc:          92.99     % | Val Acc:          65.38     %
	@ Train Macro F1:     0.882       | Val Macro F1:     0.524     
	@ Train Weighted F1:  0.932       | Val Weighted F1:  0.659     

	@ Patience: 0 /10 - Current best va-f1: 0.62914 (epoch: 36)

	@ Confusion matrix train:
	        0       1       2       3   
	0      12       1       0       0   
	1       0      303     18       1   
	2       0       5      73       3   
	3       0       0       2      10   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      59      19       0   
	2       0      13       8       0   
	3       0       1       3       0   
training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/ArgumentsPredictor-CP-03-12-2024_16-56.pth for epoch 36 with best va-f1: 0.6291383407947825

plot_training_history(history)

plot_training_history_per_class(history, 4)

print('Test results:')
results_test = arguments_predictor.evaluate(
        abs_dataset_claims.training, 
        abs_dataset_premises.training, 
        abs_dataset_relations.training, 
        abs_dataset_claims.val,
        abs_dataset_premises.val, 
        abs_dataset_relations.val, 
        abs_dataset_claims.test, 
        abs_dataset_premises.test, 
        abs_dataset_relations.test, 
        test_filename_to_labels)

Test results:

Validating: 100%|█████████████████████████████████████████████████████| 33/33 [00:03<00:00,  8.55it/s]

[Arguments Predictor] Test-set	@ Loss:         9.65678   
	@ Acc:          69.70     %
	@ Macro F1:     0.420     
	@ Weighted F1:  0.673     


	@ Confusion matrix:
	        0       1       2       3   
	0       3       2       0       0   
	1       1      85      10       3   
	2       0      21       4       0   
	3       0       2       1       0   

Optuna Studies

# First study 

study = optuna.create_study(direction="maximize")  
study.optimize(
    lambda trial: objective(trial, 
                            claims_cnn_classifier,
                            premises_cnn_classifier,
                            relations_cnn_classifier, 
                            abs_dataset_claims, 
                            abs_dataset_premises, 
                            abs_dataset_relations, 
                            train_filename_to_labels,
                            val_filename_to_labels,
                            class_weights,
                            class_weights_2),
    n_trials=100
)

[I 2024-12-03 00:19:41,725] A new study created in memory with name: no-name-71a43c1a-58e5-41e3-81a6-9b60314b1dbf
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
[I 2024-12-03 00:27:30,646] Trial 0 finished with value: 0.41869918699186986 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 1.0436217350220997e-05, 'beta1': 0.8682698389183438, 'beta2': 0.9782169102112027, 'lr': 0.00015961852588952945, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.1352688852138268}. Best is trial 0 with value: 0.41869918699186986.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_0/ArgumentsPredictor-CP-03-12-2024_00-19.pth for epoch 9 with best va-f1: 0.41869918699186986

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.01it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.04it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.04it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.91it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.02it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.05it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.03it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.92it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.93it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.92it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.02it/s]
[I 2024-12-03 00:34:39,779] Trial 1 finished with value: 0.44564453811029153 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 5.93867620166427e-05, 'beta1': 0.9807337369695804, 'beta2': 0.9809912080631531, 'lr': 0.0009900831299492656, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.4003887476354001}. Best is trial 1 with value: 0.44564453811029153.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_1/ArgumentsPredictor-CP-03-12-2024_00-27.pth for epoch 10 with best va-f1: 0.44564453811029153

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
[I 2024-12-03 00:39:40,266] Trial 2 finished with value: 0.084 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'SGD', 'weight_decay': 0.0008936977202886936, 'momentum': 0.5618574459336849, 'lr': 0.0001215348993935397, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 16, 'T_mult': 2, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.29532784723979844}. Best is trial 1 with value: 0.44564453811029153.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_2/ArgumentsPredictor-CP-03-12-2024_00-34.pth for epoch 1 with best va-f1: 0.084

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.32it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.94it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.19it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
[I 2024-12-03 00:53:04,570] Trial 3 finished with value: 0.5434403878200272 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.2019638529878167e-05, 'beta1': 0.947639410954936, 'beta2': 0.9615817229255202, 'lr': 0.0001425141973029301, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.24414872950345007}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_3/ArgumentsPredictor-CP-03-12-2024_00-39.pth for epoch 30 with best va-f1: 0.5434403878200272

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:15<00:00,  3.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:04<00:00,  2.97it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:21<00:00,  2.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.98it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.02it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.22it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.05it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
[I 2024-12-03 00:59:29,804] Trial 4 finished with value: 0.38055555555555554 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 0.0005065741417370729, 'beta1': 0.985604534609561, 'beta2': 0.9875608052690557, 'lr': 0.00011221917212492948, 'scheduler': 'CosineAnnealing', 'T_max': 27, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.05442447474164008}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_4/ArgumentsPredictor-CP-03-12-2024_00-53.pth for epoch 5 with best va-f1: 0.38055555555555554

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.05it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
[I 2024-12-03 01:05:06,866] Trial 5 finished with value: 0.13675213675213677 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 0.009136075207912637, 'beta1': 0.8488814166623869, 'beta2': 0.8732078044028392, 'lr': 0.00012257252115884624, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 18, 'T_mult': 1, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.2276639511170399}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_5/ArgumentsPredictor-CP-03-12-2024_00-59.pth for epoch 4 with best va-f1: 0.13675213675213677

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.19it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.27it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.83it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.43it/s]
[I 2024-12-03 01:10:07,708] Trial 6 finished with value: 0.21428571428571427 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'SGD', 'weight_decay': 2.6741933605845593e-05, 'momentum': 0.6852555980627024, 'lr': 0.0001768982058769071, 'scheduler': 'CosineAnnealing', 'T_max': 44, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.19633700875257387}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_6/ArgumentsPredictor-CP-03-12-2024_01-05.pth for epoch 1 with best va-f1: 0.21428571428571427

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
[I 2024-12-03 01:15:58,871] Trial 7 finished with value: 0.12253233492171546 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'SGD', 'weight_decay': 9.852917105969777e-05, 'momentum': 0.7905557598397486, 'lr': 0.0004975199806203585, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 18, 'T_mult': 3, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.34171486148427616}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_7/ArgumentsPredictor-CP-03-12-2024_01-10.pth for epoch 4 with best va-f1: 0.12253233492171546

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.32it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.18it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.38it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.28it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.03it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
[I 2024-12-03 01:23:17,428] Trial 8 finished with value: 0.38055555555555554 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.00021569718633943037, 'beta1': 0.9331453581859298, 'beta2': 0.950444454100869, 'lr': 0.0001936728361925017, 'scheduler': 'CosineAnnealing', 'T_max': 36, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.09896540332817183}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_8/ArgumentsPredictor-CP-03-12-2024_01-15.pth for epoch 9 with best va-f1: 0.38055555555555554

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.27it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
[I 2024-12-03 01:28:07,624] Trial 9 finished with value: 0.084 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 0.00019216257085167488, 'momentum': 0.6700579520939861, 'lr': 0.00015535900412731645, 'scheduler': 'CosineAnnealing', 'T_max': 13, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.19534389988280404}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_9/ArgumentsPredictor-CP-03-12-2024_01-23.pth for epoch 1 with best va-f1: 0.084

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.22it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.02it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.09it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.03it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.05it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:03<00:00,  1.99it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
[I 2024-12-03 01:39:01,121] Trial 10 finished with value: 0.2944282945736434 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.00234722609156392, 'beta1': 0.9186732407866502, 'beta2': 0.9467573086792573, 'lr': 0.00030726015294842233, 'scheduler': None, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.4973085480373808}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_10/ArgumentsPredictor-CP-03-12-2024_01-28.pth for epoch 25 with best va-f1: 0.2944282945736434

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.93it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.92it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.03it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.03it/s]
[I 2024-12-03 01:45:35,231] Trial 11 finished with value: 0.416156045751634 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 3.8331441666438214e-05, 'beta1': 0.9840045670634125, 'beta2': 0.9974073884572732, 'lr': 0.0009939200131744857, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.40901002988669993}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_11/ArgumentsPredictor-CP-03-12-2024_01-39.pth for epoch 8 with best va-f1: 0.416156045751634

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.02it/s]
[I 2024-12-03 01:52:09,701] Trial 12 finished with value: 0.4334011052027943 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.2590654002596004e-05, 'beta1': 0.9475241226679387, 'beta2': 0.9643800922368486, 'lr': 0.000939947503085612, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.37351342821581524}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_12/ArgumentsPredictor-CP-03-12-2024_01-45.pth for epoch 8 with best va-f1: 0.4334011052027943

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.03it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.92it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.01it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.92it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.03it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:03<00:00,  1.99it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.93it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
[I 2024-12-03 02:04:22,854] Trial 13 finished with value: 0.5310047095761381 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.9054669138575625e-05, 'beta1': 0.8000222237368899, 'beta2': 0.9174315200402983, 'lr': 0.0005700762204737496, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.45656935464562176}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_13/ArgumentsPredictor-CP-03-12-2024_01-52.pth for epoch 29 with best va-f1: 0.5310047095761381

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.92it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.93it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:03<00:00,  1.98it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.93it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.04it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
[I 2024-12-03 02:11:14,503] Trial 14 finished with value: 0.42186128182616334 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 2.375038293499681e-05, 'beta1': 0.8097399622808571, 'beta2': 0.908322966152783, 'lr': 0.0004795855761130516, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.49242303532394144}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_14/ArgumentsPredictor-CP-03-12-2024_02-04.pth for epoch 9 with best va-f1: 0.42186128182616334

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.35it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.38it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
[I 2024-12-03 02:20:35,299] Trial 15 finished with value: 0.5338143746462931 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 6.842279295046091e-05, 'beta1': 0.8906482123999007, 'beta2': 0.9214647565762536, 'lr': 0.0003015455123316962, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.25933556227664717}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_15/ArgumentsPredictor-CP-03-12-2024_02-11.pth for epoch 15 with best va-f1: 0.5338143746462931

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.34it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
[I 2024-12-03 02:31:05,581] Trial 16 finished with value: 0.4163473818646232 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 9.736674189498603e-05, 'beta1': 0.8909799919939918, 'beta2': 0.9250682746800255, 'lr': 0.00025165157521862786, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2905638096113009}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_16/ArgumentsPredictor-CP-03-12-2024_02-20.pth for epoch 20 with best va-f1: 0.4163473818646232

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.35it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.34it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.34it/s]
[I 2024-12-03 02:38:17,743] Trial 17 finished with value: 0.4893939393939394 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 1.774531743060334e-05, 'beta1': 0.8998458793829204, 'beta2': 0.9374710436529741, 'lr': 0.00023655468199327377, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.14975323797257684}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_17/ArgumentsPredictor-CP-03-12-2024_02-31.pth for epoch 8 with best va-f1: 0.4893939393939394

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
[I 2024-12-03 02:57:30,846] Trial 18 finished with value: 0.36675948223961474 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 9.406852158314432e-05, 'beta1': 0.9550069280349706, 'beta2': 0.9712952659182409, 'lr': 0.0003397040043787662, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.2810385997979845}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_18/ArgumentsPredictor-CP-03-12-2024_02-38.pth for epoch 48 with best va-f1: 0.36675948223961474

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
[I 2024-12-03 03:06:35,528] Trial 19 finished with value: 0.39936440677966095 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.00045388176607098025, 'beta1': 0.8505096621202427, 'beta2': 0.8885515558666918, 'lr': 0.0003452181427561772, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 5, 'T_mult': 3, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.013672702667804348}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_19/ArgumentsPredictor-CP-03-12-2024_02-57.pth for epoch 15 with best va-f1: 0.39936440677966095

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.51it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
[I 2024-12-03 03:12:19,091] Trial 20 finished with value: 0.4654696132596685 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.0014570977135309568, 'beta1': 0.9000353438894261, 'beta2': 0.95627138925725, 'lr': 0.0007223872973257477, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.33294658919302567}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_20/ArgumentsPredictor-CP-03-12-2024_03-06.pth for epoch 3 with best va-f1: 0.4654696132596685

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.10it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.08it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.24it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.08it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.08it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.10it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
[I 2024-12-03 03:21:33,842] Trial 21 finished with value: 0.5080645161290323 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 4.25727252642865e-05, 'beta1': 0.8014258748061235, 'beta2': 0.8302551679136726, 'lr': 0.00047236968691288946, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.4445174818683746}. Best is trial 3 with value: 0.5434403878200272.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_21/ArgumentsPredictor-CP-03-12-2024_03-12.pth for epoch 19 with best va-f1: 0.5080645161290323

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.40it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.49it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
[I 2024-12-03 03:36:51,177] Trial 22 finished with value: 0.6291383407947825 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.3774309676496554e-05, 'beta1': 0.8405057453235438, 'beta2': 0.9073897920595596, 'lr': 0.0006533470074643697, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.24018317859973445}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_22/ArgumentsPredictor-CP-03-12-2024_03-21.pth for epoch 36 with best va-f1: 0.6291383407947825

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.31it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.99it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.39it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
[I 2024-12-03 03:46:14,739] Trial 23 finished with value: 0.5515422077922079 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00017534916000787063, 'beta1': 0.8322457987800669, 'beta2': 0.901762644649381, 'lr': 0.0006818468227967334, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.24651696446048335}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_23/ArgumentsPredictor-CP-03-12-2024_03-36.pth for epoch 16 with best va-f1: 0.5515422077922079

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.92it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.14it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.98it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
[I 2024-12-03 03:53:01,150] Trial 24 finished with value: 0.5184871437113813 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0001880682067664958, 'beta1': 0.8385390813718949, 'beta2': 0.8914358985216628, 'lr': 0.000719668130171272, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.22197236017523872}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_24/ArgumentsPredictor-CP-03-12-2024_03-46.pth for epoch 7 with best va-f1: 0.5184871437113813

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.62it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
[I 2024-12-03 03:59:57,233] Trial 25 finished with value: 0.530890398038106 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.174798895084795e-05, 'beta1': 0.8310516933137808, 'beta2': 0.8978403166063977, 'lr': 0.0006774168064043445, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.16512291337749496}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_25/ArgumentsPredictor-CP-03-12-2024_03-53.pth for epoch 8 with best va-f1: 0.530890398038106

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.96it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.52it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.85it/s]
[I 2024-12-03 04:06:02,122] Trial 26 finished with value: 0.3252014652014652 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00013762995674105035, 'beta1': 0.8702923056192431, 'beta2': 0.8761735142088122, 'lr': 0.00042210087861793607, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.31795793198509903}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_26/ArgumentsPredictor-CP-03-12-2024_03-59.pth for epoch 6 with best va-f1: 0.3252014652014652

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.51it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.47it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.52it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.48it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.96it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.48it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
[I 2024-12-03 04:20:29,664] Trial 27 finished with value: 0.5567158067158068 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00039621207940037273, 'beta1': 0.8225973496940278, 'beta2': 0.8464102212226218, 'lr': 0.0005946243621254013, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.24829112704509199}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_27/ArgumentsPredictor-CP-03-12-2024_04-06.pth for epoch 36 with best va-f1: 0.5567158067158068

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.49it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.35it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
[I 2024-12-03 04:29:09,889] Trial 28 finished with value: 0.5192901234567902 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00035690530780299406, 'beta1': 0.8238669430871429, 'beta2': 0.8516368942482749, 'lr': 0.0006097536409178559, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 8, 'T_mult': 1, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.19513339531802004}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_28/ArgumentsPredictor-CP-03-12-2024_04-20.pth for epoch 15 with best va-f1: 0.5192901234567902

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.38it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.47it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
[I 2024-12-03 04:34:22,932] Trial 29 finished with value: 0.4654696132596685 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 0.0006595462046723222, 'beta1': 0.8217830981119792, 'beta2': 0.8532437154506425, 'lr': 0.0007932585142329829, 'scheduler': 'CosineAnnealing', 'T_max': 11, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.26026729316690717}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_29/ArgumentsPredictor-CP-03-12-2024_04-29.pth for epoch 2 with best va-f1: 0.4654696132596685

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
[I 2024-12-03 04:39:37,049] Trial 30 finished with value: 0.38055555555555554 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0031665787119638453, 'beta1': 0.8644231054578216, 'beta2': 0.9372376430838185, 'lr': 0.0005732692349549399, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.0987252380952493}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_30/ArgumentsPredictor-CP-03-12-2024_04-34.pth for epoch 2 with best va-f1: 0.38055555555555554

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.52it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.39it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.57it/s]
[I 2024-12-03 04:53:16,677] Trial 31 finished with value: 0.6140350877192983 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.1294740664287745e-05, 'beta1': 0.8491318727246363, 'beta2': 0.9134667847932136, 'lr': 0.0007900835860978258, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23389871325886227}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_31/ArgumentsPredictor-CP-03-12-2024_04-39.pth for epoch 33 with best va-f1: 0.6140350877192983

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
[I 2024-12-03 04:59:45,671] Trial 32 finished with value: 0.4828042328042328 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0002929171286561338, 'beta1': 0.84424429101135, 'beta2': 0.9016805059128666, 'lr': 0.0008417878237930393, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.17152553761186626}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_32/ArgumentsPredictor-CP-03-12-2024_04-53.pth for epoch 7 with best va-f1: 0.4828042328042328

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.35it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.39it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.99it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.69it/s]
[I 2024-12-03 05:05:41,543] Trial 33 finished with value: 0.4638888888888889 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00027486891066108663, 'beta1': 0.8554925284122101, 'beta2': 0.9104379442257708, 'lr': 0.0008495854169563168, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.22095390372577184}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_33/ArgumentsPredictor-CP-03-12-2024_04-59.pth for epoch 5 with best va-f1: 0.4638888888888889

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.76it/s]
[I 2024-12-03 05:11:53,579] Trial 34 finished with value: 0.4654696132596685 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0007367766707367426, 'beta1': 0.8741894911180575, 'beta2': 0.9276841630877023, 'lr': 0.0003949756586312026, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.12802712086032825}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_34/ArgumentsPredictor-CP-03-12-2024_05-05.pth for epoch 6 with best va-f1: 0.4654696132596685

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
[I 2024-12-03 05:16:39,624] Trial 35 finished with value: 0.21428571428571427 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 1.0426111742626355e-05, 'momentum': 0.8958096008084536, 'lr': 0.0006281175637602151, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.3083396607816033}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_35/ArgumentsPredictor-CP-03-12-2024_05-11.pth for epoch 1 with best va-f1: 0.21428571428571427

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:12<00:00,  4.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.39it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.37it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.28it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.38it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.30it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:12<00:00,  4.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:12<00:00,  4.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.18it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.48it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.41it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.39it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.43it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.91it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.39it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.22it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.27it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.38it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:12<00:00,  4.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.32it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.31it/s]
[I 2024-12-03 05:27:39,700] Trial 36 finished with value: 0.41972355130249867 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.001089225769532379, 'beta1': 0.8187782205416624, 'beta2': 0.875561798659763, 'lr': 0.0005397847380658664, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.2568042625081429}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_36/ArgumentsPredictor-CP-03-12-2024_05-16.pth for epoch 24 with best va-f1: 0.41972355130249867

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.60it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
[I 2024-12-03 05:33:24,622] Trial 37 finished with value: 0.4654696132596685 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 3.425676513575302e-05, 'beta1': 0.8339131897942691, 'beta2': 0.8622951862738771, 'lr': 0.0007720566320649612, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 12, 'T_mult': 2, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.35770543104136443}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_37/ArgumentsPredictor-CP-03-12-2024_05-27.pth for epoch 3 with best va-f1: 0.4654696132596685

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.38it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.39it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.43it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
[I 2024-12-03 05:38:51,405] Trial 38 finished with value: 0.2393357212634321 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 0.00013053411778568964, 'momentum': 0.5069487809687501, 'lr': 0.0006601707148918014, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.27847468840139317}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_38/ArgumentsPredictor-CP-03-12-2024_05-33.pth for epoch 3 with best va-f1: 0.2393357212634321

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.32it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.33it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.45it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.43it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.36it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.32it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.36it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.41it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.27it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.98it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.38it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.36it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
[I 2024-12-03 05:45:35,774] Trial 39 finished with value: 0.3266382868937049 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 6.768187136550222e-05, 'beta1': 0.8601672833237024, 'beta2': 0.9160491330901711, 'lr': 0.0008870790108885925, 'scheduler': 'CosineAnnealing', 'T_max': 50, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.2356452599434863}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_39/ArgumentsPredictor-CP-03-12-2024_05-38.pth for epoch 8 with best va-f1: 0.3266382868937049

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.49it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.60it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.40it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.14it/s]
[I 2024-12-03 05:52:37,834] Trial 40 finished with value: 0.5030077848549186 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 1.625337338269465e-05, 'beta1': 0.8128766983244589, 'beta2': 0.8387740446796176, 'lr': 0.00042704165357745194, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 12, 'T_mult': 1, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.20629843524607133}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_40/ArgumentsPredictor-CP-03-12-2024_05-45.pth for epoch 8 with best va-f1: 0.5030077848549186

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  9.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
[I 2024-12-03 05:58:25,472] Trial 41 finished with value: 0.21428571428571427 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.2867840413936292e-05, 'beta1': 0.8792917408511076, 'beta2': 0.9336717337153926, 'lr': 0.000101429259674445, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.24279160219708962}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_41/ArgumentsPredictor-CP-03-12-2024_05-52.pth for epoch 4 with best va-f1: 0.21428571428571427

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.51it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
[I 2024-12-03 06:10:54,993] Trial 42 finished with value: 0.5369458128078818 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.6459489119816128e-05, 'beta1': 0.8307030992677832, 'beta2': 0.8859911136155412, 'lr': 0.000527383215640209, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.18494463241900855}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_42/ArgumentsPredictor-CP-03-12-2024_05-58.pth for epoch 27 with best va-f1: 0.5369458128078818

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
[I 2024-12-03 06:17:14,061] Trial 43 finished with value: 0.24633501562124488 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 3.0213752272658273e-05, 'momentum': 0.898659170821346, 'lr': 0.0001392202199298491, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2720700901351252}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_43/ArgumentsPredictor-CP-03-12-2024_06-10.pth for epoch 6 with best va-f1: 0.24633501562124488

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.36it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.32it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.38it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.46it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.37it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  4.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.27it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.47it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.36it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.32it/s]
[I 2024-12-03 06:23:08,514] Trial 44 finished with value: 0.2154696132596685 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.453746683512528e-05, 'beta1': 0.9658513389429858, 'beta2': 0.98526504955851, 'lr': 0.00020583558932488354, 'scheduler': 'CosineAnnealing', 'T_max': 24, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.3107506655232555}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_44/ArgumentsPredictor-CP-03-12-2024_06-17.pth for epoch 5 with best va-f1: 0.2154696132596685

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.43it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
[I 2024-12-03 06:29:16,536] Trial 45 finished with value: 0.4638888888888889 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00046991014868773463, 'beta1': 0.9220824153045776, 'beta2': 0.9471471317152811, 'lr': 0.0007321326877980062, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.12543178967002672}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_45/ArgumentsPredictor-CP-03-12-2024_06-23.pth for epoch 5 with best va-f1: 0.4638888888888889

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.31it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.34it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
[I 2024-12-03 06:38:51,025] Trial 46 finished with value: 0.5393132220795892 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.0001371423612862046, 'beta1': 0.8448189317686646, 'beta2': 0.9062489370395219, 'lr': 0.0006154997558866272, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.22324974109266038}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_46/ArgumentsPredictor-CP-03-12-2024_06-29.pth for epoch 16 with best va-f1: 0.5393132220795892

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
[I 2024-12-03 06:54:13,189] Trial 47 finished with value: 0.43266283524904214 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00021292815185283974, 'beta1': 0.972847944269835, 'beta2': 0.9936936670286634, 'lr': 0.0001656933490533023, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.24105700382414735}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_47/ArgumentsPredictor-CP-03-12-2024_06-38.pth for epoch 38 with best va-f1: 0.43266283524904214

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.39it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.32it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.39it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.43it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.41it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.27it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
[I 2024-12-03 07:00:00,691] Trial 48 finished with value: 0.2442528735632184 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'SGD', 'weight_decay': 2.3409032106616657e-05, 'momentum': 0.7767496215884825, 'lr': 0.0009653998715820416, 'scheduler': None, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.2063493894223799}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_48/ArgumentsPredictor-CP-03-12-2024_06-54.pth for epoch 4 with best va-f1: 0.2442528735632184

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.95it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.92it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.22it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.26it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.94it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.18it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.91it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
[I 2024-12-03 07:05:32,509] Trial 49 finished with value: 0.3805220883534136 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.0421226738511698e-05, 'beta1': 0.8401735071696427, 'beta2': 0.8945448350032944, 'lr': 0.0001365571788260061, 'scheduler': 'CosineAnnealing', 'T_max': 36, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.33508345580165955}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_49/ArgumentsPredictor-CP-03-12-2024_07-00.pth for epoch 4 with best va-f1: 0.3805220883534136

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.87it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.40it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.23it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.34it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.49it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.36it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:12<00:00,  8.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
[I 2024-12-03 07:15:48,489] Trial 50 finished with value: 0.487125468164794 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.3608644010316306e-05, 'beta1': 0.9411301284968937, 'beta2': 0.9728292789272798, 'lr': 0.0004933499991793183, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.38681890273630887}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_50/ArgumentsPredictor-CP-03-12-2024_07-05.pth for epoch 22 with best va-f1: 0.487125468164794

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.26it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
[I 2024-12-03 07:23:18,765] Trial 51 finished with value: 0.5266584766584766 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.0001479619049600458, 'beta1': 0.8466805260994559, 'beta2': 0.9082662189322113, 'lr': 0.0006897079249685708, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2215432393605289}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_51/ArgumentsPredictor-CP-03-12-2024_07-15.pth for epoch 9 with best va-f1: 0.5266584766584766

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.34it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.26it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
[I 2024-12-03 07:32:56,877] Trial 52 finished with value: 0.5401719901719901 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 9.308954277273552e-05, 'beta1': 0.827227451609187, 'beta2': 0.8817860239520613, 'lr': 0.0006295505644806913, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2891068237295803}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_52/ArgumentsPredictor-CP-03-12-2024_07-23.pth for epoch 16 with best va-f1: 0.5401719901719901

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.36it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.38it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.39it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.31it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.31it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
[I 2024-12-03 07:46:44,700] Trial 53 finished with value: 0.5401719901719901 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.00010329919210817457, 'beta1': 0.8086881504050527, 'beta2': 0.8195416579699251, 'lr': 0.0008823569983890962, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.29670053993316875}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_53/ArgumentsPredictor-CP-03-12-2024_07-32.pth for epoch 30 with best va-f1: 0.5401719901719901

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.47it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.98it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.23it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
[I 2024-12-03 08:01:09,572] Trial 54 finished with value: 0.5555198973042361 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 8.538083186569413e-05, 'beta1': 0.8312992229714514, 'beta2': 0.8805909750595067, 'lr': 0.0007790760274187271, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2534521096442897}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_54/ArgumentsPredictor-CP-03-12-2024_07-46.pth for epoch 32 with best va-f1: 0.5555198973042361

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
[I 2024-12-03 08:10:48,066] Trial 55 finished with value: 0.5412037037037037 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 7.315589846330765e-05, 'beta1': 0.8161874864527453, 'beta2': 0.8671088300819032, 'lr': 0.0007972391024530176, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.25879449379267944}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_55/ArgumentsPredictor-CP-03-12-2024_08-01.pth for epoch 16 with best va-f1: 0.5412037037037037

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.14it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.32it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
[I 2024-12-03 08:18:10,944] Trial 56 finished with value: 0.5276785714285714 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 0.00036507877538735113, 'beta1': 0.907993427024652, 'beta2': 0.9180094372043924, 'lr': 0.00025536615807599173, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.17019537662950968}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_56/ArgumentsPredictor-CP-03-12-2024_08-10.pth for epoch 9 with best va-f1: 0.5276785714285714

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:03<00:00,  1.97it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.22it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.24it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:03<00:00,  1.79it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.89it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.05it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.26it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.22it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.22it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.24it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.13it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
[I 2024-12-03 08:32:17,351] Trial 57 finished with value: 0.37065343378730803 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.3508800153892495e-05, 'beta1': 0.8560191039018873, 'beta2': 0.8997175492248063, 'lr': 0.0005504648281587488, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 8, 'T_mult': 3, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.27436423066563403}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_57/ArgumentsPredictor-CP-03-12-2024_08-18.pth for epoch 37 with best va-f1: 0.37065343378730803

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.40it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.34it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.99it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.42it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
[I 2024-12-03 08:39:15,290] Trial 58 finished with value: 0.5226984126984127 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 3.621639438734007e-05, 'beta1': 0.8364419614941216, 'beta2': 0.9287432616449064, 'lr': 0.000998382965245606, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.24225725520125865}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_58/ArgumentsPredictor-CP-03-12-2024_08-32.pth for epoch 7 with best va-f1: 0.5226984126984127

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.23it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.43it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.14it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.14it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.52it/s]
[I 2024-12-03 08:50:28,496] Trial 59 finished with value: 0.29046345811051694 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 0.007895189870231372, 'beta1': 0.8855957173911002, 'beta2': 0.9577107262243659, 'lr': 0.0007424952360390332, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.14800276136786303}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_59/ArgumentsPredictor-CP-03-12-2024_08-39.pth for epoch 22 with best va-f1: 0.29046345811051694

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.19it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.38it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
[I 2024-12-03 08:59:15,362] Trial 60 finished with value: 0.5419169169169169 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.0252834879293403e-05, 'beta1': 0.8053253264319348, 'beta2': 0.841598466311982, 'lr': 0.00044334475787958247, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.19384518349690527}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_60/ArgumentsPredictor-CP-03-12-2024_08-50.pth for epoch 14 with best va-f1: 0.5419169169169169

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.35it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.19it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
[I 2024-12-03 09:07:11,124] Trial 61 finished with value: 0.537878787878788 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.9470563787761432e-05, 'beta1': 0.8067793678582869, 'beta2': 0.8407834960889995, 'lr': 0.0004365696428081885, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.18704575559077974}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_61/ArgumentsPredictor-CP-03-12-2024_08-59.pth for epoch 11 with best va-f1: 0.537878787878788

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.19it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.36it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.27it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
[I 2024-12-03 09:16:17,179] Trial 62 finished with value: 0.5497698504027618 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.7504646315870638e-05, 'beta1': 0.8252887811409598, 'beta2': 0.8605419793391993, 'lr': 0.00037289798131054066, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2158889480509791}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_62/ArgumentsPredictor-CP-03-12-2024_09-07.pth for epoch 15 with best va-f1: 0.5497698504027618

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.27it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
[I 2024-12-03 09:25:39,559] Trial 63 finished with value: 0.5577380952380953 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.5595099542043663e-05, 'beta1': 0.824272256772151, 'beta2': 0.8595879226827748, 'lr': 0.00036325204798575794, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.21155495279558884}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_63/ArgumentsPredictor-CP-03-12-2024_09-16.pth for epoch 16 with best va-f1: 0.5577380952380953

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
[I 2024-12-03 09:34:44,568] Trial 64 finished with value: 0.5427083333333333 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.224013688325576e-05, 'beta1': 0.8219771754710373, 'beta2': 0.8590490155093348, 'lr': 0.0003648608186062079, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.21085199275542277}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_64/ArgumentsPredictor-CP-03-12-2024_09-25.pth for epoch 15 with best va-f1: 0.5427083333333333

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.60it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.32it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.98it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
[I 2024-12-03 09:46:49,729] Trial 65 finished with value: 0.5529542920847269 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.6226335162104128e-05, 'beta1': 0.8248039216155207, 'beta2': 0.8688515457125816, 'lr': 0.0002927614490739575, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2652216879449434}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_65/ArgumentsPredictor-CP-03-12-2024_09-34.pth for epoch 25 with best va-f1: 0.5529542920847269

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
[I 2024-12-03 09:53:57,956] Trial 66 finished with value: 0.4654696132596685 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.09618724047688e-05, 'beta1': 0.8165564606514599, 'beta2': 0.8841625890057309, 'lr': 0.00028053938563407524, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2636543905103895}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_66/ArgumentsPredictor-CP-03-12-2024_09-46.pth for epoch 9 with best va-f1: 0.4654696132596685

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
[I 2024-12-03 10:01:01,260] Trial 67 finished with value: 0.487125468164794 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.00016885585156578266, 'beta1': 0.8510439259205642, 'beta2': 0.8708465818702653, 'lr': 0.00022005064382367253, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.3010554350585349}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_67/ArgumentsPredictor-CP-03-12-2024_09-53.pth for epoch 7 with best va-f1: 0.487125468164794

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.11it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.08it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.06it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.10it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.10it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.05it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.04it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.07it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.02it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.08it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.06it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.08it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.22it/s]
[I 2024-12-03 10:06:37,369] Trial 68 finished with value: 0.46556886227544914 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.0929461993067914e-05, 'beta1': 0.8373680002384261, 'beta2': 0.8519488164149431, 'lr': 0.00026847039346972494, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.32099911106823814}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_68/ArgumentsPredictor-CP-03-12-2024_10-01.pth for epoch 5 with best va-f1: 0.46556886227544914

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.51it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.49it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.31it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  8.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
[I 2024-12-03 10:12:15,816] Trial 69 finished with value: 0.2654761904761905 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 7.17268205607754e-05, 'momentum': 0.608984631527907, 'lr': 0.0003210035594282741, 'scheduler': 'CosineAnnealing', 'T_max': 19, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2507794645429573}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_69/ArgumentsPredictor-CP-03-12-2024_10-06.pth for epoch 4 with best va-f1: 0.2654761904761905

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.24it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.29it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.16it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.21it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.25it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:02<00:00,  4.34it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.85it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.20it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.27it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
[I 2024-12-03 10:17:23,785] Trial 70 finished with value: 0.3199276927952064 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0002511204359176569, 'beta1': 0.826973858763585, 'beta2': 0.8463285528363232, 'lr': 0.0008173916844474577, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 15, 'T_mult': 2, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.35441081635963695}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_70/ArgumentsPredictor-CP-03-12-2024_10-12.pth for epoch 2 with best va-f1: 0.3199276927952064

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.34it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.32it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.27it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.32it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
[I 2024-12-03 10:26:33,085] Trial 71 finished with value: 0.5537150797133246 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.892678199657687e-05, 'beta1': 0.8300393019486424, 'beta2': 0.8619535357691314, 'lr': 0.0003701622732735921, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23777577005907655}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_71/ArgumentsPredictor-CP-03-12-2024_10-17.pth for epoch 15 with best va-f1: 0.5537150797133246

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.03it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.26it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.43it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
[I 2024-12-03 10:35:57,077] Trial 72 finished with value: 0.5504629629629629 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.82244510355297e-05, 'beta1': 0.8322825597496858, 'beta2': 0.8670896516021529, 'lr': 0.0002942070308160156, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23153776193920558}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_72/ArgumentsPredictor-CP-03-12-2024_10-26.pth for epoch 16 with best va-f1: 0.5504629629629629

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.61it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.98it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.39it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
[I 2024-12-03 10:44:48,079] Trial 73 finished with value: 0.5365384615384615 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.5697210656435934e-05, 'beta1': 0.8385960535010848, 'beta2': 0.855685113585427, 'lr': 0.0005850305938342276, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2806114349240562}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_73/ArgumentsPredictor-CP-03-12-2024_10-35.pth for epoch 14 with best va-f1: 0.5365384615384615

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.51it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.47it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
[I 2024-12-03 10:52:28,393] Trial 74 finished with value: 0.5332998661311914 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.5803353530895382e-05, 'beta1': 0.8169558917901751, 'beta2': 0.8795457166882771, 'lr': 0.0006632661393704941, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.24964194521011743}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_74/ArgumentsPredictor-CP-03-12-2024_10-44.pth for epoch 10 with best va-f1: 0.5332998661311914

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.49it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.38it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.60it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.52it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.41it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.07it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.15it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.34it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.31it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
[I 2024-12-03 11:01:36,526] Trial 75 finished with value: 0.5427083333333333 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 6.686507118920423e-05, 'beta1': 0.842721796615224, 'beta2': 0.8650808941562845, 'lr': 0.000327493555238421, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23198586404478153}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_75/ArgumentsPredictor-CP-03-12-2024_10-52.pth for epoch 15 with best va-f1: 0.5427083333333333

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.27it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
[I 2024-12-03 11:07:43,044] Trial 76 finished with value: 0.41544715447154473 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 8.36536561678135e-05, 'beta1': 0.8525666380641137, 'beta2': 0.8703556055692206, 'lr': 0.0009001870127561577, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.18662553574246366}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_76/ArgumentsPredictor-CP-03-12-2024_11-01.pth for epoch 4 with best va-f1: 0.41544715447154473

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.84it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.28it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.03it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
[I 2024-12-03 11:14:18,617] Trial 77 finished with value: 0.4654696132596685 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0003629972444323027, 'beta1': 0.8295995319483042, 'beta2': 0.8918558780138666, 'lr': 0.00039954074745930966, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2684913207161399}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_77/ArgumentsPredictor-CP-03-12-2024_11-07.pth for epoch 7 with best va-f1: 0.4654696132596685

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:02<00:00,  8.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.03it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.91it/s]
[I 2024-12-03 11:20:24,011] Trial 78 finished with value: 0.487125468164794 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 1.4486912982607031e-05, 'beta1': 0.8620130092875974, 'beta2': 0.8754970995686817, 'lr': 0.0005145815286690392, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.20374629915403455}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_78/ArgumentsPredictor-CP-03-12-2024_11-14.pth for epoch 4 with best va-f1: 0.487125468164794

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.07it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.44it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.54it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.29it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  6.99it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.34it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.60it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
[I 2024-12-03 11:34:41,683] Trial 79 finished with value: 0.5436619718309859 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.00011668466908274492, 'beta1': 0.810638390265741, 'beta2': 0.8325753137610337, 'lr': 0.0007541818536124705, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.25190048718887137}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_79/ArgumentsPredictor-CP-03-12-2024_11-20.pth for epoch 31 with best va-f1: 0.5436619718309859

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  6.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.13it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.87it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.84it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.03it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
[I 2024-12-03 11:42:53,660] Trial 80 finished with value: 0.43230071414784793 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 3.2790205141160104e-05, 'beta1': 0.8214572938648099, 'beta2': 0.847970064524001, 'lr': 0.0006973268058593103, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.28346736396671796}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_80/ArgumentsPredictor-CP-03-12-2024_11-34.pth for epoch 11 with best va-f1: 0.43230071414784793

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:17<00:00,  6.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:04<00:00,  6.48it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.43it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.25it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.43it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.41it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.19it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.32it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.89it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.23it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:17<00:00,  6.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.43it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
[I 2024-12-03 11:55:13,269] Trial 81 finished with value: 0.5521962937542896 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.0433492473900815e-05, 'beta1': 0.8331949544324776, 'beta2': 0.8574439389891305, 'lr': 0.00030619753310028524, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.22722116946839732}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_81/ArgumentsPredictor-CP-03-12-2024_11-42.pth for epoch 24 with best va-f1: 0.5521962937542896

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.34it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.11it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.94it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:17<00:00,  6.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.96it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
[I 2024-12-03 12:04:51,969] Trial 82 finished with value: 0.5577380952380953 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.90390288758687e-05, 'beta1': 0.8333632849792069, 'beta2': 0.8563786976219698, 'lr': 0.0003495071860983832, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23728586626838788}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_82/ArgumentsPredictor-CP-03-12-2024_11-55.pth for epoch 15 with best va-f1: 0.5577380952380953

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.15it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.22it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.88it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.62it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
[I 2024-12-03 12:15:21,663] Trial 83 finished with value: 0.5420847268673356 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 4.6572172284954695e-05, 'beta1': 0.8335989714758203, 'beta2': 0.8585935358498348, 'lr': 0.0003423242259012738, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23023326623990972}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_83/ArgumentsPredictor-CP-03-12-2024_12-04.pth for epoch 18 with best va-f1: 0.5420847268673356

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.94it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.49it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.60it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.83it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.92it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.88it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.99it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.98it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.52it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.88it/s]
[I 2024-12-03 12:25:10,146] Trial 84 finished with value: 0.5465459778821391 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 5.792821508619003e-05, 'beta1': 0.848433694563784, 'beta2': 0.8628610651696231, 'lr': 0.0003024518367342004, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.17834205912700082}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_84/ArgumentsPredictor-CP-03-12-2024_12-15.pth for epoch 16 with best va-f1: 0.5465459778821391

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.88it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.62it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.90it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.55it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
[I 2024-12-03 12:34:43,417] Trial 85 finished with value: 0.5568597338013749 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.755270524036742e-05, 'beta1': 0.8006512700137218, 'beta2': 0.8011564693638907, 'lr': 0.0003594983096552775, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.20158576052705565}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_85/ArgumentsPredictor-CP-03-12-2024_12-25.pth for epoch 15 with best va-f1: 0.5568597338013749

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.24it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.84it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.06it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.91it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.83it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  6.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.91it/s]
[I 2024-12-03 12:41:59,811] Trial 86 finished with value: 0.5171404682274248 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 100, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.3414857859397962e-05, 'beta1': 0.8141659474959446, 'beta2': 0.8179687969209138, 'lr': 0.00036489336007378056, 'scheduler': 'CosineAnnealing', 'T_max': 35, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.16208468070214843}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_86/ArgumentsPredictor-CP-03-12-2024_12-34.pth for epoch 8 with best va-f1: 0.5171404682274248

Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:15<00:00,  1.70it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:03<00:00,  1.64it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:14<00:00,  1.78it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.05it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.98it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:03<00:00,  1.86it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.03it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.01it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.15it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:12<00:00,  2.00it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.04it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.99it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.05it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.96it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.01it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 26/26 [00:13<00:00,  1.97it/s]
Validating: 100%|███████████████████████████████████████████████████████| 6/6 [00:02<00:00,  2.09it/s]
[I 2024-12-03 12:46:44,792] Trial 87 finished with value: 0.08260869565217391 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 3.5942787879566875e-05, 'momentum': 0.7880240008431398, 'lr': 0.0004671271257345532, 'scheduler': None, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.19892630313283394}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_87/ArgumentsPredictor-CP-03-12-2024_12-41.pth for epoch 1 with best va-f1: 0.08260869565217391

Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.12it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:15<00:00,  3.51it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.14it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.91it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.17it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.04it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.95it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.92it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.10it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.98it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.19it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.11it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.02it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.00it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  3.93it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.00it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.00it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.03it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.02it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:13<00:00,  3.82it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.23it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.07it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
Training epoch: 100%|█████████████████████████████████████████████████| 53/53 [00:14<00:00,  3.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 13/13 [00:03<00:00,  4.08it/s]
[I 2024-12-03 12:56:55,463] Trial 88 finished with value: 0.5346320346320347 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.000625727934313437, 'beta1': 0.8008268781654391, 'beta2': 0.8284167009427172, 'lr': 0.000401599690466832, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 5, 'T_mult': 3, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.26516262143071484}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_88/ArgumentsPredictor-CP-03-12-2024_12-46.pth for epoch 19 with best va-f1: 0.5346320346320347

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.86it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.47it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
[I 2024-12-03 13:03:57,083] Trial 89 finished with value: 0.5139916893909882 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.7814921596619933e-05, 'beta1': 0.8216795294714017, 'beta2': 0.8471776575626259, 'lr': 0.00024023712215772076, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.21593395943462323}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_89/ArgumentsPredictor-CP-03-12-2024_12-56.pth for epoch 6 with best va-f1: 0.5139916893909882

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.32it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.09it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.87it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.88it/s]
[I 2024-12-03 13:13:39,754] Trial 90 finished with value: 0.5393132220795892 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 25, 'p_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.858949657675543e-05, 'beta1': 0.8264273529375228, 'beta2': 0.9128614221896163, 'lr': 0.0003759928061364455, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23929976872172642}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_90/ArgumentsPredictor-CP-03-12-2024_13-03.pth for epoch 16 with best va-f1: 0.5393132220795892

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.50it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.21it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.16it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.00it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.26it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
[I 2024-12-03 13:25:46,554] Trial 91 finished with value: 0.5653429866900688 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.967673587781245e-05, 'beta1': 0.8406631095332197, 'beta2': 0.8556996921735929, 'lr': 0.00027087907322374664, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2259448218415986}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_91/ArgumentsPredictor-CP-03-12-2024_13-13.pth for epoch 24 with best va-f1: 0.5653429866900688

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.45it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.95it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.34it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.15it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.90it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
[I 2024-12-03 13:36:03,940] Trial 92 finished with value: 0.5465459778821391 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.893613258212187e-05, 'beta1': 0.8439071603061327, 'beta2': 0.8698869061941373, 'lr': 0.00027041779051818445, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.20769885972154037}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_92/ArgumentsPredictor-CP-03-12-2024_13-25.pth for epoch 18 with best va-f1: 0.5465459778821391

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.60it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.62it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.03it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.30it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.01it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.28it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.25it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.08it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
[I 2024-12-03 13:46:25,037] Trial 93 finished with value: 0.5490799716914366 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 1.1461794139855292e-05, 'beta1': 0.8406520057656913, 'beta2': 0.8547138695302623, 'lr': 0.0003327880596606045, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.25408508704966803}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_93/ArgumentsPredictor-CP-03-12-2024_13-36.pth for epoch 18 with best va-f1: 0.5490799716914366

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.31it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.75it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.19it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.20it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.37it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.22it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.05it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.95it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.17it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.15it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.92it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.14it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.32it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.09it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
[I 2024-12-03 13:56:47,592] Trial 94 finished with value: 0.5490799716914366 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 6.150847505899322e-05, 'beta1': 0.8044891889947178, 'beta2': 0.8270043534085242, 'lr': 0.00028946146327484364, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.15912565332411216}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_94/ArgumentsPredictor-CP-03-12-2024_13-46.pth for epoch 18 with best va-f1: 0.5490799716914366

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.17it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.04it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.12it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.10it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.23it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.84it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.11it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.84it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.83it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.02it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.88it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.62it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.96it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.90it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.84it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.47it/s]
[I 2024-12-03 14:10:27,114] Trial 95 finished with value: 0.5642980437284235 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 2.0911904325246547e-05, 'beta1': 0.8110936449577106, 'beta2': 0.8366431726380491, 'lr': 0.00018675118678608836, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2405103998040269}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_95/ArgumentsPredictor-CP-03-12-2024_13-56.pth for epoch 28 with best va-f1: 0.5642980437284235

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.84it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.79it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.86it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.62it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.68it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.63it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.43it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.77it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.68it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.67it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.02it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.30it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.52it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.78it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.67it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.80it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.33it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.55it/s]
[I 2024-12-03 14:19:04,971] Trial 96 finished with value: 0.5245535714285714 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 2.0814808150365602e-05, 'beta1': 0.8098795652612363, 'beta2': 0.8348947610046791, 'lr': 0.00021562603513810587, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.23687370445947817}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_96/ArgumentsPredictor-CP-03-12-2024_14-10.pth for epoch 11 with best va-f1: 0.5245535714285714

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:13<00:00,  7.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.23it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.93it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.35it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.89it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  8.18it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.27it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.90it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.38it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.87it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.58it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.88it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.37it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.92it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.20it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.42it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.34it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.40it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.33it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.45it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.29it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.62it/s]
[I 2024-12-03 14:27:10,254] Trial 97 finished with value: 0.4654696132596685 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 3.056702375942706e-05, 'beta1': 0.8123814821851564, 'beta2': 0.8255784931590058, 'lr': 0.00017576681987610185, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.21566586563554557}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_97/ArgumentsPredictor-CP-03-12-2024_14-19.pth for epoch 11 with best va-f1: 0.4654696132596685

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.24it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.91it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.18it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.63it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.84it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.13it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.97it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.03it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.60it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.69it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.85it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.97it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.70it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:14<00:00,  7.16it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.90it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.76it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.00it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.10it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.05it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.53it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.94it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.90it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.08it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.54it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.98it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.83it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.93it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.83it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.07it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.83it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.12it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.77it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.99it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.01it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.81it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.26it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.92it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.96it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  7.04it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.63it/s]
[I 2024-12-03 14:39:34,060] Trial 98 finished with value: 0.5497698504027618 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 1.1920285776995382e-05, 'beta1': 0.8199606453142617, 'beta2': 0.8405198176561685, 'lr': 0.00019698041228498163, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.19397896846138765}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_98/ArgumentsPredictor-CP-03-12-2024_14-27.pth for epoch 24 with best va-f1: 0.5497698504027618

Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.71it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.81it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.73it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.71it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.50it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.79it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.46it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.75it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.74it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.78it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.66it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.76it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.39it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.74it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.61it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.62it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.73it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.56it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.59it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.65it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.64it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.72it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.80it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:17<00:00,  6.21it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  6.66it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:18<00:00,  5.87it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  6.64it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:17<00:00,  6.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.57it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:16<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.82it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.72it/s]
Training epoch: 100%|███████████████████████████████████████████████| 107/107 [00:15<00:00,  6.70it/s]
Validating: 100%|█████████████████████████████████████████████████████| 26/26 [00:03<00:00,  7.48it/s]
[I 2024-12-03 14:49:54,993] Trial 99 finished with value: 0.4927843803056027 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'p_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'AdamW', 'weight_decay': 8.483905472688053e-05, 'beta1': 0.8587064790732147, 'beta2': 0.8651147014276783, 'lr': 0.00011665078348344678, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.2234873215687399}. Best is trial 22 with value: 0.6291383407947825.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp_2/optuna/02_12_24-va-f1/trial_99/ArgumentsPredictor-CP-03-12-2024_14-39.pth for epoch 16 with best va-f1: 0.4927843803056027

print(f"Best trial is {study.best_trial.number}:")
print(f"  Value: {study.best_trial.value}")
print("  Params: ")
for key, value in study.best_trial.params.items():
    print(f"    {key}: {value}")

Best trial is 22:
  Value: 0.6291383407947825
  Params: 
    n_ff_layers: 3
    ap_ff_layers0: 128
    c_frozen_layers_percentage: 0
    p_frozen_layers_percentage: 25
    r_frozen_layers_percentage: 100
    optimizer: AdamW
    weight_decay: 5.3774309676496554e-05
    beta1: 0.8405057453235438
    beta2: 0.9073897920595596
    lr: 0.0006533470074643697
    scheduler: None
    batch_size: 4
    WRS: False
    apdrop_p: 0.24018317859973445